Relational Attention for Data-Efficient Language Modeling
关系注意力用于数据高效语言建模
🧭 语言模型 · 关系注意力与数据效率
UC Santa Cruz · Utrecht University
在 BabyLM 低数据场景下，用双注意力 Transformer 分离关系注意力与自注意力，提升数据效率和结构泛化
📌 工作参考价值（4 点）
- 用户行为序列建模可借鉴双路注意力：将物品的内容特征（类目、品牌等）与关系/转移结构分离，减少特征纠缠，可能改善长尾和冷启动泛化。
- 数据受限场景（冷启动、小业务）优先优化架构（如引入关系注意力、符号检索）比叠加训练目标更有效；论文显示架构是主导因素。
- 无参数 RoPE-based 符号检索可替代学习型符号嵌入，减少参数和过拟合，适用于 item ID、类目等离散符号的表示。
- NextLat 预测目标鼓励隐状态增量压缩历史，可用于用户状态表示，提升在线推理效率。